Draft-KV: Learning Useful Latent Communication Between Language Models
Draft-KV：学习语言模型间有价值的潜在通信
🧭 LLM 潜在通信 · KV Cache 传输
City University of Hong Kong · University of Science and Technology of China · University of Electronic Science and Technology of China · AIPD, Tencent · Theory Lab, Huawei
提出 Draft-KV，用 sharer 草稿过程的 KV 状态经门控侧记忆接口传给 frozen 小模型，显著提升协同推理
📌 工作参考价值（4 点）
- 在多模型 Agent 链路中，让大模型（sharer）提前对候选 query/商品/用户意图草拟推理，并把草稿过程的 KV cache 暂存为侧记忆；线上由小模型接收这些 KV 做最终决策或生成，接口参数仅 ~1M，两端模型冻结，部署成本远低于全量微调。
- 接口设计可借鉴「线性投影 + 门控 attention 分支」：不把通信状态注入主隐层，而是作为 side memory 参与注意力，避免干扰小模型已有表示；门控可控制通信信息的权重，便于线上 A/B 开关和降级。
- 训练采用两阶段 progressive：先做 message reconstruction 对齐表示，再转到 answer supervision；并加入 mismatched message 的 guard 损失，防止通信缺失或错配时模型被带偏，这对推荐中的多路召回/多模型融合也有参考。
- 验证通信是否真被使用：用随机替换消息做控制实验，若替换后指标几乎不变，说明增益来自接口结构而非信息内容；在推荐/广告引入 LLM 通信或增强时，应做同样消融，避免伪提升。